无监督的域适应性(UDA)是一个至关重要的协议,用于迁移从标记的源域中学到的信息,以促进未标记的异质目标域中的实现。尽管UDA通常经过来自两个域的数据的共同培训,但由于对患者数据隐私或知识产权的担忧,访问标记的源域数据通常受到限制。为了避开此问题,我们提出了“现成的(OS)” UDA(OSUDA),针对图像分割,通过调整在源域中训练的OS进行调整到目标域,在适应中没有源域数据的情况下, 。为了实现这一目标,我们旨在开发新的批准归一化(BN)统计适应框架。特别是,我们通过指数型衰减策略逐渐适应了特定于域的低阶BN统计数据,例如平均值和差异,同时明确执行可共享的可共享高阶BN统计的一致性,例如,扩展和转移因子缩放和转移因子。 ,通过我们的优化目标。我们还通过低阶统计差异和缩放因素来自适应量化通道的可传递性,以评估每个通道的重要性。记忆一致的自我训练策略利用可靠的伪标签来稳定,有效的无监督适应。我们评估了基于OSUDA的跨模式和交叉型脑肿瘤分割和心脏MR到CT分割任务的框架。我们的实验结果表明,我们的内存一致性的OSUDA的性能优于现有的 - 源 - 删除的UDA方法,并且具有与源数据的UDA方法相似的性能。
translated by 谷歌翻译
无监督的域适应性(UDA)已被广泛用于将知识从标记的源域转移到未标记的目标域,以抵消在新域中标记的难度。常规解决方案的培训通常依赖于源和目标域数据的存在。但是,源域和经过训练的模型参数中大规模和标记的数据的隐私可能成为跨中心/域协作的主要关注点。在这项工作中,为了解决这个问题,我们为UDA提出了一个实用的解决方案,以使用仅在源域中训练的黑框分割模型,而不是原始源数据或白盒源模型。具体而言,我们求助于具有指数混合衰减(EMD)的知识蒸馏方案,以逐步学习针对目标的表示。另外,无监督的熵最小化进一步应用于目标域置信度的正则化。我们在Brats 2018数据库上评估了我们的框架,并以White-Box源模型适应方法在标准杆上实现了性能。
translated by 谷歌翻译
无监督的域适应性(UDA)已成功地应用于没有标签的标记源域转移到目标域的知识。最近引入了可转移的原型网络(TPN),进一步解决了班级条件比对。在TPN中,虽然在潜在空间中明确执行了源和目标域之间的类中心的接近度,但尚未完全研究基础的细颗粒亚型结构和跨域紧凑性。为了解决这个问题,我们提出了一种新方法,以适应性地执行细粒度的亚型意识对准,以提高目标域的性能,而无需两个域中的子类型标签。我们方法的见解是,由于不同的条件和标签变化,同类中未标记的亚型在亚型内具有局部接近性,同时表现出不同的特征。具体而言,我们建议通过使用中间伪标签同时执行亚型的紧凑度和阶级分离。此外,我们系统地研究了有或不具有亚型数字的各种情况,并建议利用基本的亚型结构。此外,开发了一个动态队列框架,以使用替代处理方案稳步地进化亚型簇质心。与最先进的UDA方法相比,使用多视图的先天性心脏病数据和VISDA和域进行了实验结果,显示了我们的亚型意识UDA的有效性和有效性。
translated by 谷歌翻译
深度学习已成为解决不同领域中现实世界中问题的首选方法,部分原因是它能够从数据中学习并在广泛的应用程序上实现令人印象深刻的性能。但是,它的成功通常取决于两个假设:(i)精确模型拟合需要大量标记的数据集,并且(ii)培训和测试数据是独立的且分布相同的。因此,不能保证它在看不见的目标域上的性能,尤其是在适应阶段遇到分布数据的数据时。目标域中数据的性能下降是部署深层神经网络的关键问题,这些网络已成功地在源域中的数据训练。通过利用标记的源域数据和未标记的目标域数据来执行目标域中的各种任务,提出了无监督的域适应(UDA)来对抗这一点。 UDA在自然图像处理,视频分析,自然语言处理,时间序列数据分析,医学图像分析等方面取得了令人鼓舞的结果。在本综述中,作为一个快速发展的主题,我们对其方法和应用程序进行了系统的比较。此外,还讨论了UDA与其紧密相关的任务的联系,例如域的概括和分布外检测。此外,突出显示了当前方法和可能有希望的方向的缺陷。
translated by 谷歌翻译
通过在未标记的目标域中应用良好的模型,通过对标记的源域的监督应用了良好的模型,已经通过对未标记的目标域应用了良好的模型,对无监督的域适应(UDA)进行了大量探索,以减轻源和目标域之间的域变化。然而,最近的文献表明,在存在重大领域变化的情况下,性能仍然远非令人满意。但是,由于绩效的实质性增长,划定一些目标样本通常是易于管理的,尤其是值得的。受此启发的启发,我们旨在开发半监督域的适应性(SSDA)进行医学图像分割,这在很大程度上没有被置于脑海中。因此,除了以统一的方式使用未标记的目标数据外,我们建议利用标记的源和目标域数据。具体而言,我们提出了一种新型的不对称共同训练(ACT)框架,以整合这些子集并避免源域数据的统治。遵循分歧和纠纷策略,我们将SSDA的标签监督分为两个不对称的子任务,包括半监督学习(SSL)和UDA,并利用两个细分市场的不同知识来考虑在两个部分之间的区别,以考虑到不同的知识。来源和目标标签监督。然后,在两个模块中学习的知识与ACT自适应地整合,通过基于置信度的伪标签进行迭代教学。此外,伪标签噪声与指数混合衰减方案可以很好地控制,以进行平滑传播。使用BRATS18数据库进行跨模式脑肿瘤MRI分割任务的实验表明,即使标记有限的目标样本,ACT也对UDA和最先进的SSDA方法产生了明显的改进,并接近了受监督的联合训练的“上限” 。
translated by 谷歌翻译
了解舌头和口咽肌肉变形之间的潜在关系在标记的MRI和可理解的语音中起着重要的作用,在推进语音运动控制理论和对语音相关疾病的处理方面起着重要作用。然而,由于它们的异质表示形式,这两种模式之间的直接映射(即二维(中间式切片)加上时间标记的MRI序列及其相应的一维波形)并不简单。取而代之的是,我们诉诸二维频谱图作为中间表示,其中包含音高和共振,从中可以开发一个端到端的深度学习框架,以将标记的MRI序列转换为其相应的音频波形,并具有有限的音频波形数据集大小。〜我们的框架基于一种新颖的完全卷积不对称翻译器,并具有自我残留注意策略的指导,以专门利用语音期间的移动肌肉结构。潜在的空间表示解散策略。〜此外,我们将一种对抗性训练方法与生成的对抗网络结合在一起,以在我们生成的频谱图上提供改进的现实主义。我们的框架使一系列标记的序列可以生成清晰的音频波形。 MRI,超过竞争方法。因此,我们的框架为帮助更好地了解两种方式之间的关系提供了巨大的潜力。
translated by 谷歌翻译
未经监督的域适应(UDA)在两个明显不同的域之间学习高级语义对齐是一个至关重要的又具有挑战性的任务。〜在此目的,在这项工作中,我们建议利用低级边缘信息来促进适应作为前体任务具有小的跨域间隙,与语义分割相比具有小的跨域间隙。〜精确的轮廓然后提供用于引导语义适应的空间信息。更具体地,我们提出了一种多任务框架来学习轮廓调整网络以及语义分割适应网络,其将磁共振成像(MRI)切片及其初始边缘图作为输入。〜这两个网络是共同训练的源域标签,以及特征和边缘地图级对冲学习进行跨域对齐。此外,还包含自熵最小化,以进一步提高分割性能。我们在Brats2018数据库中评估了脑肿瘤的跨态分割的框架,呈现了与竞争方法相比我们方法的有效性和优越性。
translated by 谷歌翻译
Temporal sentence grounding (TSG) aims to identify the temporal boundary of a specific segment from an untrimmed video by a sentence query. All existing works first utilize a sparse sampling strategy to extract a fixed number of video frames and then conduct multi-modal interactions with query sentence for reasoning. However, we argue that these methods have overlooked two indispensable issues: 1) Boundary-bias: The annotated target segment generally refers to two specific frames as corresponding start and end timestamps. The video downsampling process may lose these two frames and take the adjacent irrelevant frames as new boundaries. 2) Reasoning-bias: Such incorrect new boundary frames also lead to the reasoning bias during frame-query interaction, reducing the generalization ability of model. To alleviate above limitations, in this paper, we propose a novel Siamese Sampling and Reasoning Network (SSRN) for TSG, which introduces a siamese sampling mechanism to generate additional contextual frames to enrich and refine the new boundaries. Specifically, a reasoning strategy is developed to learn the inter-relationship among these frames and generate soft labels on boundaries for more accurate frame-query reasoning. Such mechanism is also able to supplement the absent consecutive visual semantics to the sampled sparse frames for fine-grained activity understanding. Extensive experiments demonstrate the effectiveness of SSRN on three challenging datasets.
translated by 谷歌翻译
New architecture GPUs like A100 are now equipped with multi-instance GPU (MIG) technology, which allows the GPU to be partitioned into multiple small, isolated instances. This technology provides more flexibility for users to support both deep learning training and inference workloads, but efficiently utilizing it can still be challenging. The vision of this paper is to provide a more comprehensive and practical benchmark study for MIG in order to eliminate the need for tedious manual benchmarking and tuning efforts. To achieve this vision, the paper presents MIGPerf, an open-source tool that streamlines the benchmark study for MIG. Using MIGPerf, the authors conduct a series of experiments, including deep learning training and inference characterization on MIG, GPU sharing characterization, and framework compatibility with MIG. The results of these experiments provide new insights and guidance for users to effectively employ MIG, and lay the foundation for further research on the orchestration of hybrid training and inference workloads on MIGs. The code and results are released on https://github.com/MLSysOps/MIGProfiler. This work is still in progress and more results will be published soon.
translated by 谷歌翻译
The ability for an agent to continuously learn new skills without catastrophically forgetting existing knowledge is of critical importance for the development of generally intelligent agents. Most methods devised to address this problem depend heavily on well-defined task boundaries, and thus depend on human supervision. Our task-agnostic method, Self-Activating Neural Ensembles (SANE), uses a modular architecture designed to avoid catastrophic forgetting without making any such assumptions. At the beginning of each trajectory, a module in the SANE ensemble is activated to determine the agent's next policy. During training, new modules are created as needed and only activated modules are updated to ensure that unused modules remain unchanged. This system enables our method to retain and leverage old skills, while growing and learning new ones. We demonstrate our approach on visually rich procedurally generated environments.
translated by 谷歌翻译